野外销售：基于460万商业对话微调的销售Agent基准与随机现场实验
🧭 对话式销售Agent训练与在线随机实验 ★ 深度解读
Javo, AISO Boost Ltd.
用460万真实商业对话微调Qwen3-32B销售Agent，在100个网站随机试验中比无Agent提升10%收入，比前沿模型提升21.6%转化
📌 工作参考价值（4 点）
- 真实商业对话微调是提升销售/导购Agent业绩的关键：SFT学完整对话（需求挖掘、推荐、异议处理、下一步提议），DPO用购买进展信号做偏好优化；可直接迁移到电商客服、导购对话训练。
- 模型隔离评估设计值得借鉴：固定界面、检索、工具、prompt、guardrails，只换模型权重，才能干净归因训练数据的价值；业务方上线Agent前应做类似消融。
- 在线实验协议可复用：ITT收入/访客 + engaged conversion + 非劣性对比人工 + 安全守卫指标（退货率、投诉、未支持声明、未授权优惠），并采用CUPED、sample ratio check、顺序检验等。
- 成本效率结论：对话Agent推理成本仅为人工的1.8%（0.06美元 vs 3.40美元），且转化非劣性，可优先在咨询密集品类（美妆、家具、旅游）部署自动化销售助手。
FORTE：工业推荐系统中特征评估与废弃的生产框架
🧭 推荐系统特征生命周期管理与模型降本 ★ 深度解读
Pinterest
模型无关的特征废弃框架，用高效扰动、分组验证、在线A/B和血缘追踪实现安全删除特征
📌 工作参考价值（5 点）
- 用 pooled perturbation 替代逐特征推理：把原始 batch 和扰动 batch 一次加载进内存，每个实验只做一次字典选择，边际成本极低；在 3M 行数据上 300 个实验耗时从线性降低 54 倍，可以支撑每日全模型特征重要性扫描。
- 候选特征集必须做 grouped perturbation：单特征 permutation 会高估可加价值，且特征交互导致固定顺序边际中有相当比例（38.6%）为负；只筛选单特征重要性会漏掉交互依赖，上线前必须对嵌套候选集做联合扰动验证。
- 单 permutation 在 150k 样本规模下已足够稳定：重复 permutation 只带来方差线性下降，而扩大样本量直接缩小 σ²；若目标是特征排序而非精确重要性值，把算力投向更有代表性的样本比重复 permutation 更划算。
- 完整特征废弃依赖 lineage 追踪：只从模型删除特征收益有限，必须通过 registry 找到所有下游消费者，逐级 block dataloader、dataset、ingestion、logging，才能实现存储、训练、服务端到端节省。
- 在线 guardrail 是最终裁决：离线 neutral 的多个候选集，最激进的组合可能触发次要指标回归；应让多个 nested 候选集同时进入 A/B，由在线护栏筛选安全操作点，而不是依赖离线指标定最终规模。
PEAR：面向工业搜索系统的渐进式证据驱动自动研究框架
🧭 Agent 驱动的搜索策略自动优化 ★ 深度解读
Global E-Commerce Agentic Search Team
提出 PEAR 框架，以证据驱动研究状态和置信门控多级验证阶梯，在电商搜索中显著提升订单指标
📌 工作参考价值（4 点）
- 多级验证阶梯 + 统一置信区间晋升规则：把候选评估拆成 Offline Replay / Shadow-Traffic / Rapid Online / Decision-Grade 四级，每级都输出效应量和置信区间，只有 CI 下界>0 才 PROMOTE，CI 包含 0 保留，CI 上界<0 停止。这个规则能避免在非平稳电商流量下用单点分数“keep-if-better”导致的瞬时增益误判，可直接复用到排序策略参数、召回权重、重排规则的自动化搜索。
- 独立研究状态 + 上下文证据积累：每个策略任务维护独立的假设、候选空间、证据记录，通过 Plan–Execute–Evaluate–Update 循环持续修订假设。在电商场景中，同一策略在不同时间、不同流量组成下效果可能完全不同，记录实验上下文并让 Agent 基于 CI 和假设得分（Support - Refute）做候选生成，比单纯保留历史最优更可靠。
- 代理指标选择要优先对齐订单等业务目标：论文发现代理模型对订单的聚合相对误差最小（-3.49%），点击（-16.02%）和 GMV（-18.23%）误差较大。在构建 Agent 自动化优化链路时，若要用代理模型做低层筛选，应优先选择预测误差小、与最终业务指标对齐的代理信号，而不是盲目用 CTR。
- 低层广筛 + 高层精评，严格控制在线实验成本：L2 阶段的 promotion rate 只有 1.5%~7.14%，意味着大部分候选在影子流量阶段就被过滤掉，只有少数进入真实在线实验。工程上可以借鉴这种漏斗式评估，把昂贵且有风险的在线 A/B 留给统计上显著的正效应候选，同时保留大规模探索能力。
CORAL：面向生产推荐系统的 LLM 原生闭环优化框架
🧭 Agent 闭环优化推荐系统控制面 ★ 深度解读
Meta AI
用 LLM agent 闭环优化推荐系统控制面资源配置，以极低成本实现在线 A/B 验证的 engagement 提升或成本节省
📌 工作参考价值（4 点）
- 可把 LLM agent 用于推荐系统资源/预算分配的闭环优化（召回源预算、流量分群 serving 档位、广告库存分配等）；关键是不让 LLM 直接改线上参数，而是让它输出结构化 proposal，由确定性约束优化器投影到可行集。
- 架构上模仿 observation / assessment / decision 三层记忆，保存最近 3 个 cycle 的原始指标、模型判断和决策结果，让 agent in-context 根据自己上次动作的效果调整，不用 retrain；对非平稳线上环境有效。
- 固定决策 cadence（如 3 天）并用 A/B 实验测每个配置的增量，把测量结果写回 memory 作为 attribution，避免噪声误导；初期可先在低风险控制面（预算 multiplier、serving tier）小步跑，再逐步扩大自主范围。
- 成本极低：每个 cycle 仅十几次 LLM 调用、几千 token，与用户量无关，适合亿级流量的电商/广告推荐；如果业务有硬资源约束，优先把 LLM agent 用于配置优化而不是 per-item 生成。
PILOT：面向在线树实验的主动洞察学习智能体技术报告
🧭 Agent 多角色实验优化 · 决策树个性化 ★ 深度解读
Taobao
PILOT 用三角色 LLM 智能体将推荐实验从被动调参升级为主动假设检验与人群级决策树个性化，搜索效率提升 40pp
📌 工作参考价值（4 点）
- 给实验平台加“守卫层”：在真实推荐系统上做 Agent 自主实验，先实现确定性 Action Enumerator + Manager Guard + State Committer；LLM 只从合法候选里选，状态写入和统计判断都不经过 LLM，能显著降低越权和误用风险。
- 用 PolicyTree 做人群级策略个性化：把策略打成 bundle，用 split/prune/hashSplit/updateStrategy 作为原子动作；先做特征质量预筛和 hashSplit 小流量探测，再进入全桶 A/B 验证。适合猜你喜欢、会员分层、广告人群包等配置迭代。
- 记忆分成“策略证据”和“方法论”两层：策略效果只记录成 bundle 对比，并标注因果/诊断证据角色；单次实验只产生 draft，跨任务一致才升 supported/approved。可避免把一次 lucky run 当成全局经验，减少 LLM 幻觉决策。
- 强制“假设先行”的 planner proposal：每个候选必须带可证伪假设、拒绝条件、证据引用和结果后的下一步计划，否则不分配流量；这比事后总结轨迹更可控，适合把实验参数搜索交给 LLM 时的工程约束。
曝光份额预测：排序系统的离线评估任务
🧭 排序系统离线评估 · 曝光份额预测 ★ 深度解读
Meta Platforms, Inc.
提出曝光份额预测作为离线评估任务，用因果模型识别并预测候选排序模型的目标桶曝光分布，首小时Transformer rollout提升22% L1
📌 工作参考价值（4 点）
- 在电商/广告多目标排序上线前，除了 AUC/NE/RIG，增加一个“曝光份额偏移”预测器：用候选模型离线打分分布（log-bin 直方图 + mean/var）和 coverage 向量预测其可能把曝光从高价值目标（成交/支付）挪到低价值目标（点击/浏览）的比例，提前拦截收益风险。
- 识别环节可用论文的 SCM：由于模型状态 A 由架构/训练决定、不受当前容量状态 D 反向影响，P(Y|do(A),D)=P(Y|A,D)，无需 IPW/domain adversarial 等复杂纠偏；如果业务中有类似“策略不反向影响系统状态”的结构，可直接用观测数据做反事实预估。
- 工程上优先用简单 RF + 特征（22维置信度 + 容量）即可拿到 seen models 的 49% L1 提升；若做新模型冷启动预测，首小时必须替换成近期容量动态的序列编码器（如 PatchTST 2h rollout），否则可能比均值基线还差 20%。
- 对 LLM/Agent 生成式推荐：若未来要把 LLM 作为 ranking 模块放进共享流控/预算系统，其 score distribution 和 coverage 特征同样可以用来预估曝光分配，避免只盯文本质量指标。
AI Agent 能否模拟 A/B 测试结果？一个智能体实验验证框架
🧭 Agent 模拟 A/B 测试效果预测 ★ 深度解读
Amazon
提出 S-RCT 框架并验证：预校准和 within-subject 设计可将 Agent 模拟 A/B 测试的平方误差降低约 77 倍
📌 工作参考价值（4 点）
- 预校准消除幅度偏差：利用实验前历史数据训练轻量校准函数（如 Platt scaling），纠正 Agent 对用户行为反应幅度的系统性放大，可将平方误差降低约 77 倍，直接用于在线模拟预测。
- Within-subject 设计降方差：每个 Agent 同时接受 treatment 和 control 条件，消除 Agent 间个体差异，标准误平均减小 2.4 倍，在有限 Agent 预算下显著提升灵敏度。
- 方向性信号用于廉价筛选：即使幅度不准，Agent 模拟的方向性准确率（sign overlap 0.70）足以在真实实验前筛掉大概率有害的干预，节省流量与工程成本。
- 智能采样降低计算成本：对 KPI 进行分层，预先估算各层标准差，采用 Neyman 分配，对高方差连续指标（如收入）可用更少 Agent 达到相同模拟精度，适合大型电商多实验并行场景。
利用视觉语言模型提升网络搜索相关性评估的工业实践
🧭 视觉语言模型 · 搜索相关性自动评估 ★ 深度解读
Pinterest
用微调VLM替代人工标注，结合分层采样，将搜索A/B实验的MDE降低6倍且成本降至近零
📌 工作参考价值（4 点）
- 用开源VLM（Qwen3-VL-4B）微调替代人工相关性标注，达到94.2%±1级一致性，可将标注成本降低超99%、周期从2天缩至2小时，适合电商/广告搜索中快速评估排序实验。
- 分层采样设计（按查询兴趣类别×流行度分层）能大幅缩减相关性指标的方差，使MDE降低6倍（从~1.4%到≤0.25%），对检测微小却重要的排序变化极有价值。
- 保留配对的实验组查询，用配对差异消除个体偏差，使得VLM标签的系统性误差在差值中被抵消，可作为Agent评估或多模态搜索中LLM裁判的校准手段。
- 多语言微调通过单一多语言VLM支持非英语市场，虽相关性略降但配对差异仍稳健，可复用到跨境电商搜索的自动化评估。
利用策略重叠加速A/B测试：反事实估计视角
🧭 反事实估计 · A/B测试加速 ★ 深度解读
Independent Researcher · aampe
将随机流量分配视为元策略，用Δ-OPE利用策略重叠达成严格方差缩减，并提供最优流量与排名扩展
📌 工作参考价值（4 点）
- 免费方差缩减：在线上A/B测试中直接使用Δ-IPS或Δ-DR代替标准DiM，仅需记录两个策略的动作分布，当新旧模型存在重叠时即可自动获得更低方差，无需改变流量分配或延迟实验。
- 非平衡流量设计：放弃固定的50/50分流，利用历史日志估计策略分歧度，计算方差最优分流比p*（例如对探索性策略倾斜流量），可额外减小18%以上的方差（模拟显示）。
- 聚焦模型训练：Δ-MRDR loss对样本加权 wΔ²，让奖励模型集中拟合策略分歧区域，在推荐场景异构用户分布下，可比标准Δ-DR再降约8%的ATE估计方差。
- 排名实验加速：对推荐/搜索排序，用Δ-DCG并加入位置最优基线（Δβ*⊥⊥-DCG），可抵消策略分歧增大时的方差膨胀，始终优于传统均值差，可直接用于多臂A/B测试中的曝光指标评估。
专业邮件中的俏皮 AI：语气对收件人参与度的现场实验
🧭 LLM 辅助沟通效果与中介机制研究
University of Haifa · Yale School of Medicine · Jönköping University
AI改写邮件语气不直接影响打开/回复，而是通过提升情感积极性间接驱动参与行为。
📌 工作参考价值（4 点）
- Agent/消息推送的语气设计：情感积极性（emotional positivity）是驱动用户打开和回复的关键中介，俏皮语气相比专业语气更能间接提升参与，推送文案、客服消息可优先做高积极性改写，无需过度追求“专业感”。
- A/B 实验的中介分析：实验若发现 UI/文案变更无直接效果，应检查情感极性等中介变量；本研究的间接效应框架可直接复用，避免误判优化方向。
- 工程落地：接入 LLM 改写消息时，可对生成文本做情感极性评分（如 positive score），将评分作为排序或过滤信号，确保推送内容具备足够情绪动能。
- 行为指标的间接驱动：打开率和回复率的提升往往不是工具本身带来的，而是工具产出的内容特征所致，监控指标应同时覆盖内容质量和行为结果。
AgentX：面向工业推荐系统的智能体驱动自我迭代
🧭 多智能体闭环驱动推荐策略与模型自进化 ★ 深度解读
Kuaishou
生产部署的多智能体闭环，自主生成、实现、评估并进化推荐实验，实现业务收益的复利增长。
📌 工作参考价值（5 点）
- 构建推荐迭代闭环智能体：将“想法→代码→A/B评估→知识沉淀”全流程 agent 化，把工程师从重复性劳动（拉数据、改配置）中解放，直接复用至电商/广告推荐策略迭代，显著提升实验并发量与产出速度。
- 证据加权生成与防重复机制：用实验 KB、系统 KB、数据分析、模型研究四类知识源对候选想法打分，自动过滤重复、不可行或违背护栏的策略，避免“重新发明失败”，可借鉴到搜索推荐实验管理平台。
- 生产代码可靠性保障：通过仓库模式查询、DSL 检查器、静态 lint 等多维验证，防止 LLM 生成代码时的属性幻觉和注册缺失，大幅降低人工介入，适合在自动化投放引擎或特征平台落地。
- 离线模型研究的可信归因：强制每个模型改动声明因果链和可观测量，并用专家投票与日志确定性提取来判断收益是否可信，防止无法归因的 AUC 增益污染知识库，对工业级 AutoML 或模型迭代管线有直接参考意义。
- 基于轨迹的自我进化（SGPO）：利用执行轨迹的语义梯度持续优化 prompt，形成“越用越强”的飞轮，可迁移至其他需要持续改良的 agent 系统（如广告文案生成、动态排序策略优化）。
大规模音乐播放列表标题生成：Deezer 基于 LLM 的工业化实践
🧭 LLM 生成推荐解释文案 ★ 深度解读
Deezer Research · SJTU Paris Elite Institute of Technology
用 LLM 为推荐播放列表自动生成描述性标题，在不改动推荐算法的情况下提升用户参与度 24.9%
📌 工作参考价值（4 点）
- 为推荐模块自动生成解释文案：不修改底层推荐算法，仅通过给推荐结果增加 LLM 生成的描述性标题，即可显著提升用户采纳、重连与满意度，适用于电商推荐理由、广告文案和搜索推荐摘要等场景。
- 上游聚类 + 批量生成降低计算成本：先生成约 5,000 个艺术家簇的描述，再映射到数以百万计的个性化播放列表，避免为每个推荐逐个调用 LLM，电商/广告中可对商品类目、兴趣簇等做类似离线批量生成，再动态拼装到推荐结果上。
- 多源弱信号融合作为 LLM 输入：将音乐标签（流派、情绪、年代等）与用户 playlist 标题中的创意词频统计融合，用权重排序后送入提示词，可为推荐系统构造富含语义的上下文输入，类似思路可用于融合商品属性、用户评论和搜索词。
- 低成本 LLM + 并行调用就满足线上近实时要求：使用 Gemini 2.0 Flash，全量 5000 个簇并行生成 5 个候选标题，总耗时 < 15 分钟、花费 ≈ $1，再通过 LLM-as-Judge 过滤，表明轻量级 LLM 结合离屏 pipeline 完全可支撑大规模推荐场景的文案生成。
SAGE：通过智能体引导探索的随机提示优化
🧭 提示优化 · 多智能体协作
Slingshot AI · University of Cambridge
提出多智能体诊断执行框架 SAGE，通过随机搜索与连续 A/B 测试将提示优化累积为统计显著的次日留存提升
📌 工作参考价值（4 点）
- 面向对话式推荐或客服机器人，可用 Agent 自动诊断 Bad Case 并生成修复提示，替代人工迭代
- 借鉴连续 A/B 测试范式，将单次噪声大的实验累积为长期关键指标（如留存、转化）的可靠增益
- 错误信息驱动的随机搜索策略成本低，可用于推荐系统召回/排序模块的 prompt 候选生成
- 多智能体协同中加入代码执行（如数据统计、校验），能提升诊断深度，可用于商品推荐理由生成的自动化调试